Repository navigation
Opt in to local work probes from SForge heartbeat - #8252
huangruiteng merged 3 commits into
Conversation
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent | gpt-6.1-sol | OpenAI | max | runtime_reported
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
动机 / Motivation
运行 SForge heartbeat 实验的工程师,需要在候选代码的正常验证中取得可归因的本地执行观测。旧 SForge 入口无法选择已有的本地 probe,选定候选文件和输入版本后仍要自行装配入口,容易使安装来源与实际执行脱节。修复后,同一启动命令可显式选择 probe,安装阶段确认打包入口可运行,普通调用把候选文件哈希与执行结果写入同一组证据。评审范围是这条启动、安装、调用和读回路径。真实模型采用与实验结果由后续实验验证。按基线契约逐项检查显式选择、候选证据与配置读回。既有选择契约
改动思路 / Approach
SForge 入口把一次 trial 的选择交给现有 Harbor 共享安装器。已打包的解释器以隔离模式运行固定源文件,并显式加入已暂存的产品源码路径。候选文件仍按任务工作目录解释。选中后,安装器以 worker 用户运行一次帮助检查。成功回执记录选择,实际执行观测由 worker 后续调用生成。默认关闭沿用原有安装和工作路径。保留原生启动和共享安装各自的职责。当前交付限于 SForge 选择、共享安装和已有观测结果读回。共享安装器
具体改动 / Changes
关键代码讲解
- run.main 接受 --execution-observation local_probe,先拒绝与非 heartbeat profile 的组合,再向 SForgeWorker 转交可选值。worker 复用选择解析器,将其交给 BenchmarkCodex.install,随后由 _worker_env 向规划和执行传递。runtime-receipt.json 提供所选配置读回,worker-profile.json 在安装通过后写出。CLI 入口 · 安装接线 · worker 环境
- BenchmarkCodex.install 固定暂存的 research_probe.py,用隔离 Python 和打包源码解析依赖,检查入口文件可执行且帮助中含 --candidate-file。旧提交的真实 shell 复现中,同名任务模块接管了安装自检和调用,两次退出均为 0。当前回归用例在工作目录和外部 PYTHONPATH 都放入同名包,已打包入口仍完成相对路径候选执行。入口与自检 · 安装回归
- 英文和中文使用说明覆盖选择、安装自检和选择回执。CLI 回归覆盖选中、缺省和不兼容 profile,安装回归另外覆盖缺解释器、符号链接和真实 probe。使用说明 · CLI 回归
对主干的风险 / Risks
- PASS 安装与普通执行。 独立用例串起真实 CLI、SForge 安装适配器、共享安装和实际 shell。候选探测通过真实 Explore 规范化,回执的文件 SHA-256 与独立计算相同。作者在 Linux 非 root 环境也验证了相对路径与内存 sidecar。独立验证中的镜像传输、基础安装及模型边界使用隔离夹具。
- PASS 缺省及拒绝。 基线和当前 head 的同一缺省用例都沿用普通启动,跳过 wrapper 安装和自检,回执省略观测字段。选择后缺打包文件会在 worker 成功回执前报错。非 heartbeat 组合在创建 trial 目录前以退出码 2 拒绝。首读指引测试确认原有选择开关仍控制 probe 指引。缺省与选择契约
- UNVERIFIED 实验运行。 完整任务镜像部署、模型是否采用观测、资源成本和解题收益仍待实测。远端 CI 按当前评审配置独立处理。
我的整体评价 / Verdict
APPROVE,head 66cffb6。 固定的打包入口修复了先前的安装来源缺陷。独立安装链 4 项、基线缺省对照 1 项、仓库聚焦测试 9 项通过。当前 r36 基线的隔离合成树无冲突,同一入口复核 4 项通过。交付面是 CLI 与 worker 启动,界面评审不适用。合并资格独立判定。
English verdict: APPROVE for 66cffb6. The exact staged entry point passed isolated install, execution, default-off and refusal tests. Live model adoption remains unverified.
be1e72c
into
codex/edgebench-r36-aggressive-20261107
Outcome
The SForge heartbeat entry point can explicitly choose the existing
local_probeproducer with--execution-observation local_probe. Selection flows through the existing BenchmarkCodex installer and worker environment and is read back in the run and worker receipts. Omission preserves the ordinary profiles.The wrapper executes the exact staged producer through isolated Python and keeps the task working directory for candidate paths. The shared installer reads the wrapper's help once as the worker user. An unavailable entry point fails selected setup before model entry. Actual probes remain worker-selected local work inside the existing budget.
Verification
Stacked on #8249. This follow-up contains runner selection, trusted installation readback, tests and usage documentation.